Active Offline-to-Online Reinforcement Learning
主动离线到在线强化学习：有限交互下策略选择与微调
🧭 离线到在线强化学习策略选择
Virginia Commonwealth University · University of Virginia
提出基于上置信界主动选择策略以平衡离线到在线强化学习中评估与微调的交互分配
📌 工作参考价值（4 点）
- 在推荐模型迭代中，若有多个候选模型（不同结构或超参）需在线评估与微调，可借鉴主动策略选择思想：先用少量流量评估，再动态分配更多流量给高潜力模型微调，代替一次性选定一个模型全量上线
- 使用局部线性性能预测 + UCB 权衡探索与利用，适合非平稳环境下的在线模型持续优化，例如电商推荐中用户兴趣漂移
- 工程实现上可维护模型池，通过在线交互数据不断更新各模型的性能预测，自动筛选和提升最优模型，降低人工选模型的风险
- 方法不依赖特定RL算法，同样适用于Bandit或监督学习的在线微调场景